한국정보통신학회 논문지 (Journal of the Korea Institute of Information and Communication Engineering)
Current Result Document :
| 한글제목(Korean Title) |
지역적 가중치 파라미터 제거를 적용한 CNN 모델 압축 |
| 영문제목(English Title) |
Apply Locally Weight Parameter Elimination for CNN Model Compression |
| 저자(Author) |
Su-chang Lim
Do-yeon Kim
|
| 원문수록처(Citation) |
VOL 22 NO. 09 PP. 1165 ~ 1171 (2018. 09) |
한글내용
(Korean Abstract) |
CNN은 객체의 특징을 추출하는 과정에서 많은 계산량과 메모리를 요구하고 있다. 또한 사용자에 의해 네트워크가 고정되어 학습되기 때문에 학습 도중에 네트워크의 형태를 수정할 수 없다는 것과 컴퓨팅 자원이 부족한 모바일 디바이스에서 사용하기 어렵다는 단점이 있다. 이러한 문제점들을 해결하기 위해, 우리는 사전 학습된 가중치 파일에 가지치기 방법을 적용하여 연산량과 메모리 요구량을 줄이고자 한다. 이 방법은 3단계로 이루어져 있다. 먼저, 기존에 학습된 네트워크 파일의 모든 가중치를 각 계층 별로 불러온다. 두 번째로, 각 계층의 가중치에 절댓값을 취한 후 평균을 구한다. 평균을 임계값으로 설정한 뒤, 임계 값 이하 가중치를 제거한다. 마지막으로 가지치기 방법을 적용한 네트워크 파일을 재학습한다. 우리는 LeNet-5와 AlexNet을 대상으로 실험을 하였으며, LeNet-5에서 31x, AlexNet에서 12x의 압축률을 달성 하였다.
|
영문내용
(English Abstract) |
CNN requires a large amount of computation and memory in the process of extracting the feature of the object. Also, It is trained from the network that the user has configured, and because the structure of the network is fixed, it can not be modified during training and it is also difficult to use it in a mobile device with low computing power. To solve these problems, we apply a pruning method to the pre-trained weight file to reduce computation and memory requirements. This method consists of three steps. First, all the weights of the pre-trained network file are retrieved for each layer. Second, take an absolute value for the weight of each layer and obtain the average. After setting the average to a threshold, remove the weight below the threshold. Finally, the network file applied the pruning method is re-trained. We experimented with LeNet-5 and AlexNet, achieved 31x on LeNet-5 and 12x on AlexNet.
|
| 키워드(Keyword) |
CNN
가지치기
가중치 압축
모델 압축
CNN
Pruning
Parameter Compression
Model Compression
|
| 파일첨부 |
PDF 다운로드
|
